39VpskU

トレーニングデータとして、CC-100（https://t.co/uMFIL20AXP）のオープンソースデータを使用しています。
日本語はダウンロードするだけで15GBです。
そのあと展開して加工する。

— Dr.(Shirai)Hakase #VRStudioLab (@o_ob) April 9, 2021

from Twitter https://twitter.com/o_ob

「iOSで学ぶ高速高速フーリエ変換入門」って書籍書いたら買う人いるかな…

2021-04-09 aki

「iOSで学ぶ高速高速フーリエ変換入門」って書籍書いたら買う人いるかな…

— Dr.(Shirai)Hakase #VRStudioLab (@o_ob) April 9, 2021

from Twitter https://twitter.com/o_ob

日本語の文章なのに条件付確率がつるっと書いてあって素敵…と思いました AIチャットボット「りんな」を手がけるrinnaが日本語特化のGPT-2大規模言語モデルをオープンソース化 | TechCrunch Japan https://j.mp/3s4iHDR @jptechcrunchより

2021-04-09 aki

日本語の文章なのに条件付確率がつるっと書いてあって素敵…と思いました

AIチャットボット「りんな」を手がけるrinnaが日本語特化のGPT-2大規模言語モデルをオープンソース化 | TechCrunch Japan https://t.co/yX1D9NuswU @jptechcrunchより

— Dr.(Shirai)Hakase #VRStudioLab (@o_ob) April 9, 2021

from Twitter https://twitter.com/o_ob

NVIDIA Tesla V100 Volta GPU アクセラレーター 32GB グラフィックスカード税込97万円ぐらいです。 https://j.mp/2Ozh8QD GPU x 4 😇 > CUDA_VISIBLE_DEVICES=0,1,2,3 python -m task.pretrain.train –n_gpus 4 –save_model True –enable_log True

2021-04-09 aki

NVIDIA Tesla V100 Volta GPU アクセラレーター 32GB グラフィックスカード
税込97万円ぐらいです。https://t.co/U6rkESjZd4

GPU x 4 😇
> CUDA_VISIBLE_DEVICES=0,1,2,3 python -m task.pretrain.train –n_gpus 4 –save_model True –enable_log True

— Dr.(Shirai)Hakase #VRStudioLab (@o_ob) April 9, 2021

from Twitter https://twitter.com/o_ob

りんなのモデル、ソース公開されているし学習手順も書かれているけど再現はふつうにたいへんだった > Tesla V100 GPUを用いて、70ギガバイトの日本語テキストを約1カ月の長期間にわたってトレーニングしました https://j.mp/2RlUQ5V

2021-04-09 aki

りんなのモデル、ソース公開されているし学習手順も書かれているけど再現はふつうにたいへんだった

> Tesla V100 GPUを用いて、70ギガバイトの日本語テキストを約1カ月の長期間にわたってトレーニングしましたhttps://t.co/dOYX3Sonah

— Dr.(Shirai)Hakase #VRStudioLab (@o_ob) April 9, 2021

from Twitter https://twitter.com/o_ob